부산대학교기계학습개론
Scientific Inference Lab

Data Leakage

Raw Data Preparation

전처리는 원자료의 결측값, 값 범위, 범주를 모델이 계산할 수 있는 입력으로 바꾸는 처리다. 여러 행에서 계산하는 처리는 학습 자료에서 상태를 저장한다.

원자료결측값, 이상치, 서로 다른 척도, 범주 값이 한 표에 섞여 있다.
수치형 열결측값 대체와 척도 조정을 거친다.
범주형 열결측값 대체와 부호화를 거친다.

원자료의 문제마다 필요한 처리가 다르다

강조할 문제를 바꾸면 행렬에서 해당 칸과 처리 방향이 함께 바뀐다.

원자료 행렬의 네 가지 문제결측값, 이상치, 서로 다른 수치 범위, 범주 값을 직접 표시한 행렬 처리가 필요한 값현재 초점 관측수치 A양수 구간수치 B더 넓은 범위등급도시 관측 1 x₁₁ x₁₂ 낮음 서울 관측 2 결측값 x₂₂ 중간 부산 관측 3 x₃₁ 이상치 높음 서울 특성마다 다른 값 범위 계산할 값이 없음 → 지우거나 값을 채움
빨간 칸은 처리가 필요한 값이다. 흐리지 않은 칸이 고른 문제의 위치이고, 아래 파란 상자가 처리 방향이다.

열 종류와 처리에 따라 학습 자료에서 저장하는 상태가 다르다

처리를 바꾸면 fit에서 저장하는 상태와 그 상태를 적용한 결과가 바뀐다.

열 종류별 fit 상태와 적용 결과수치형 결측 대체, 수치형 표준화, 범주형 결측 대체가 학습 자료에서 저장하는 상태와 적용 결과 수치형 열결측값fit 상태평균 또는 중앙값적용 결과수치 값으로 채움 수치형 열원래 척도fit 상태μⱼ · σⱼ적용 결과평균 0 · 표준편차 1 범주형 열결측값fit 상태가장 자주 나온 범주적용 결과범주 값으로 채움
왼쪽 파란 상자는 입력 열, 가운데 초록 상자는 학습 자료에서 저장하는 fit 상태, 오른쪽 상자는 그 상태를 적용한 결과다. 흐린 경로는 고르지 않은 처리다.

부호화는 범주 사이의 관계를 수치 표현으로 옮긴다

부호화 방식을 바꾸면 범주에 붙는 표현과 그 표현이 보존하는 관계가 바뀐다.

범주 부호화 세 관계순서형 값, 서울과 부산의 one-hot 표현, 학습에 없던 서로 다른 범주가 같은 영 벡터로 겹치는 충돌 순서형 부호화낮음0중간1높음20 < 1 < 2 one-hot encoding서울(1,0)부산(0,1)범주 사이 순서 없음 학습에 없던 범주새 범주 가(0,0)새 범주 나(0,0)서로 다른 범주가 같은 표현
세 상자는 순서형 부호화, one-hot encoding, 학습에 없던 새 범주다. 흐리지 않은 상자가 고른 관계이고, 빨간 상자는 표현 충돌이다.